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最 近 在 看 NTU 林 轩 田 的 《机 器 学 习 基 石 》 课 程 ， 个 人 感觉 讲 的 非常 好 。 整 个 基石 课程 
分 成 四 个 部 分 : 

。 When Can Machine Learn? 

。 Why Can Machine Learn? 

。 How Can Machine Learn? 

。 How Can Machine Learn Better? 
每 个 部 分 由 四 节 课 组 成 ， 总 共有 16 节 课 。 那 么 ， 从 这 篇 开始 ， 我 们 将 连续 对 这 门 课 做 


课程 笔记 ， 共 16 篇 ， 希 望 能 对 正在 看 这 们 课 的 童鞋 有 所 帮助 。 下 面 开始 第 一 节 课 的 笔 
记 : The Learning Problem。 


一 、What is Machine Learning 


什么 是 "学习 ”? 学 习 就 是 人 类 通过 观察 、 积 累 经 验 ， 掌 握 某 项 技能 或 能 力 。 就 好 像 我 
们 从 小 学 习 识别 字母 、 认 识 汉 字 ， 就 是 学 习 的 过 程 。 而 机 器 学 习 (Machine 
Learning) ,顾名思义 ， 就 是 让 机 器 (计算 机 ) 也 能 向 人 类 一 样 ， 通 过 观察 大 量 的 数 
据 和 训练 ， 发 现 事物 规律 ， 获 得 某 种 分 析 问 题 、 解 决 问题 的 能 力 。 


learning: acquiring skill 
with experience accumulated from observations 


observations learning skill 


machine learning: acquiring Skill 
with experience accumulated/computed from data 


data skill 








机 器 学 习 可 以 被 定义 为 : Improving some performance measure with experence 
computed from data. 也 就 是 机 器 从 数据 中 总 结 经 验 ， 从 数据 中 找 出 某 种 规律 或 者 模 
型 ， 并 用 它 来 解决 实际 问题 。 


skill 
今 improve some performance measure (e.g. prediction accuracy) | 


machine learning: improving some performance measure 
with experience computed from data 


improved 
data performance 
measure 





什么 情况 下 会 使 用 机 器 学 习 来 解决 问题 呢 ? 其 实 ， 目 前 机 器 学 习 的 应 用 非常 广泛 ， 基 
本 上 任何 场合 都 能 够 看 到 它 的 身影 。 其 应 用 场合 大 致 可 归纳 为 三 个 条 件 : 


。 事物 本 身 存 在 某 种 潜在 规律 
。 某 些 问题 难以 使 用 普通 编程 解决 
。 有 大 量 的 数据 样本 可 供 使 用 


@ exists some ‘underlying pattern to be learned 
一 SO performance measure can be improved 


@ but no programmable (easy) definition 
一 SO ‘ML is needed 

@ somehow there is data about the pattern 

一 SO ML has some ‘inputs’ to learn from 





二 、Applications of Machine Learning 


机 器 学 习 人 在 我 们 的 衣 、 食 、 住 、 行 、 教 育 、 娱 乐 等 各 个 方面 都 有 着 广泛 的 应 用 ， 我 们 
的 生活 处 处 都 离 不 开机 器 学 习 。 比 如 ， 打 开 购 物 网 站 ， 网 站 就 会 给 我 们 自动 推荐 我 们 
可 能 会 喜欢 的 商品 ; 电影 频道 会 根据 用 户 的 浏览 记录 和 观 影 记 录 ， 向 不 同 用 户 推荐 他 
们 可 能 喜欢 的 电影 等 等 ， 到 处 都 有 机 器 学 习 的 影子 。 


三 、Components of Machine Learning 


本 系列 的 课程 对 机 器 学 习 问题 有 一 些 基本 的 术语 需要 注意 一 下 : 


。 输入 x 

。 输出 y 

。 目标 函数 f， 即 最 接近 实际 样本 分 布 的 规律 

。 训练 样本 data 

。 假设 nypothesis， 一 个 机 器 学 习 模型 对 应 了 很 多 不 同 的 hypothesis， 通 过 演算 法 
A， 选 择 一 个 最 佳 的 hypothesis 对 应 的 函数 称 为 矩 g，g 能 最 好 地 表示 事物 的 内 在 
规律 ， 也 是 我 们 最 终 想 要 得 到 的 模型 表达 式 。 


St EI N elt Ue 
se input: x € XY (customer application) 
se output: ye (good/bad after approving credit card) 


。 unknown pattern to be learned < target function: 
f: XTX — YY (lideal credit approval formula) 


。 data < training examples: D = {(X1, y1), (X2, y2),:…: , (XN, YN)} 
(historical records in bank) 

。 hypothesis < Skill with hopefully good performance: 
g: XX — YY (learned' formula to be used) 





实际 中 ， 机 器 学 习 的 流程 图 可 以 表示 为 : 


unknown target function 
于 一 小 


(ideal credit approval formuwla) 




















training examples ei final hypothesis 
D: (X1;, 71),.…* ; (XN, YN 之 f 





(histonical records in bank) 


hypothesis set 
天 


(set of candidate formula) 


fearned formula to be used) 


对 于 理想 的 目标 浮 数 f， 我 们 是 不 知道 的 ， 我 们 手 上 拿 到 的 是 一 些 训 | 练 样本 ， 假 设 是 
监督 式 学 习 ， 其 中 有 输入 Xx， 也 有 输出 y。 机 器 学 习 的 过 程 ， 就 是 根据 先 验 知识 选择 模 


型 ， 该 模型 对 应 的 hypothesis set (用 H 表 示 ) ，H 中 包含 了 许多 不 同 的 hypothesis， 
通过 演算 法 A， 在 训练 样本 D 上 进行 训练 ， 选 择 出 一 个 最 好 的 hypothes， 对 应 的 函数 表 
达 式 g 就 是 我 们 最 终 要 求 的 。 一 般 情况 下 ，g 能 最 接近 目标 函数 f{， 这 样 ， 机 器 学 习 的 整 
个 流程 就 完成 了 。 


四 、Machine Learning and Other Fields 
与 机 器 学 习 相 关 的 领域 有 : 


。 数据 挖掘 (Data Mining) 

。 人 工 智能 (Artificial Intelligence) 

。 统计 (Statistics) 
其 实 ， 机 器 学 习 与 这 三 个 领域 是 相通 的 ， 基 本 类 似 ， 但 也 不 完全 一 样 。 机 器 学 习 是 这 
三 个 领域 中 的 有 力 工 具 ， 而 同时 ， 这 三 个 领域 也 是 机 器 学 习 可 以 广泛 应 用 的 领域 ， 总 
得 来 说 ， 他 们 之 间 没 有 十 分 明确 的 界线 。 


五 、 总 结 


本 节 课 主要 介绍 了 什么 是 机 器 学 习 ， 什 么 样 的 场合 下 可 以 使 用 机 器 学 习 解 决 问题 ， 然 
后 用 流程 图 的 形式 展示 了 机 器 学 习 的 整个 过 程 ， 最 后 把 机 器 学 习 和 数据 挖掘 、 人 工 智 
能 、 统 计 这 三 个 领域 做 个 比较 。 本 节 课 的 内 容 主 要 是 概述 性 的 东西 ， 比 较 简 单 ， 所 以 
笔记 也 相对 比较 简略 。 


这 里 附 上 林 轩 田 (Hsuan-Tien Lin) 关于 这 门 课 的 主页 : 


http://www.csie.ntu.edu.tw/~htlin/ 
注 明 : 
文章 中 所 有 的 图 片 均 来 自 台 湾 大 学 林 轩 田 《 机 器 学 习 基 石 》 课 程 。 


